# -*- coding: UTF-8 -*-

# 导入robotparser模块和url解析模块
from urllib import robotparser

AGENT_NAME = 'IPLAYPYTHON'
URL_BASE = 'http://www.iplaypy.com/'

# 获取robots.txt文件信息
parser = robotparser.RobotFileParser()

# 设置url
parser.set_url('http://www.iplaypy.com/robots.txt')

# 读取robots.txt
parser.read()

# 测试爬虫是否可以下载一个页面
spaiderTest = parser.can_fetch(AGENT_NAME, URL_BASE)

if(spaiderTest):
    print('爬虫可以下载页面！')
else:
    print('爬虫无法下载页面！')